WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs
WattGPU：预测未见GPU和LLM的推理功耗与延迟
🧭 推理能耗预测 · 机器学习系统
Universidad Politécnica de Madrid · Zurich University of Applied Sciences
仅用公开元数据与规格，无需硬件即可预测LLM在未见GPU上的推理功耗和延迟，泛化良好。
📌 工作参考价值（4 点）
- 在引入新GPU或新LLM时，可快速预估推理功耗与延迟，替代昂贵的手工profiling，辅助部署前硬件选型。
- 模型仅依赖公开的LLM参数表和GPU规格（如内存带宽、TDP），无需购置或租用设备，能大幅降低评估成本。
- 给出的中位绝对百分比误差在离线场景约3.4%，服务器场景约13.5%，虽非生产级精度，但GPU排序相关性高（Kendall τ≥0.76），适合做粗筛，识别表现突出的GPU型号。
- 仓库开源，可将自有的LLM与硬件数据加入扩展，为广告/推荐系统中Agent、查询改写等LLM服务做容量规划和性价比对比。